Ejercicio 1: Utilizando los datos de ecobici_2010_2017 y MapReduce averigua ¿Cuántos registros hay por cicloestación?
Imágen del jps del clúster y map reduce exitoso
Imágen de localhost:8088 seleccionando la opción Nodes
Imágen de localhost:8088 seleccionando la opción FINISHED para ver que los jobs corrieron existosamente
Se muestran resultados
Ejercicio 2: Con los datos de vuelos retrasados en USA hacer un join del lado del mapper con flights, airports y airlines. Primero intenta una sola llave o flights o airports
para este caso el Join se hzizo en 2 partes, la primera se unio flights con airlines utilizando los programas mapper2 y reducer2 que se agregan en la carpeta del ejercicio 2 y la segunda parte uso airports con el resultado del join anterior a través de mapper2_1 y reducer2_1:
Mapper2 y reducer2 corre con la linea cat /home/abraham/MGE_2018/tarea3/flights.csv /home/abraham/MGE_2018/tarea3/airlines.csv | python /home/abraham/MGE?2018/tarea3/mapper2.py | sort -r | python /home/abraham/MGE?2018/tarea3/reducer2.py>/home/abraham/MGE_2018/tarea3/ejer2/outaux.csv
mapper 2_1 y reducer 2_1 y corren correctamente con la linea cat /home/abraham/MGE_2018/tarea3/ejer2/outaux.csv /home/abraham/MGE_2018/tarea3/airports.csv | python /home/abraham/MGE?2018/tarea3/ejer2/mapper2_1.py | sort –version-sort | python /home/abraham/MGE?2018/tarea3/ejer2/reducer2_1.py
con ambos obtenemos lo siguiente:
jps y map reduce exitoso
localhost con nodes
localhost con finished
se muestran resultados
se anexa una muestra de la salida en el archivo output2.txt de la carpeta del ejercicio 2.
Ejercicio 3: Con los datos de vuelos retrasados en USA hacer un join del lado del reducer con flights, airports y airlines. Primero intenta una sola llave o flights o airports
al igual que en el ejemplo anterior se hace el join en 2 pasos primero airlines con flights usando los programas mapper3.py y reducer3.py y luego con ese resulado unido a airports y se usan los programas mapper3_1 y reducer3_1.
Mapper2 y reducer2 corre con la linea cat /home/abraham/MGE_2018/tarea3/flights.csv /home/abraham/MGE_2018/tarea3/airlines.csv | python /home/abraham/MGE?2018/tarea3/ejer3/mapper3.py | python /home/abraham/MGE?2018/tarea3/ejer3/reducer3.py
Mapper
Reducer
cat /home/abraham/MGE_2018/tarea3/ejer3/outaux3.csv /home/abraham/MGE_2018/tarea3/airports.csv | python /home/abraham/MGE?2018/tarea3/ejer3/mapper3_1.py | python /home/abraham/MGE?2018/tarea3/ejer3/reducer3_1.py
Mapper3_1
Reducer3_1
jps y map reduce exitoso
jps
mapred
localhost con nodes
locahost con finished
Se muestran resultados del output3.txt, se utilizó una muestra dado el peso del archivo